Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
Agentic RAG 评估预算：问题数、轨迹数与读取次数的分配
🧭 Agentic RAG 评估预算采样优化
Carnegie Mellon University
同 token 预算下，扩展问题覆盖比增加读取或轨迹数更有效降低评估标准误
📌 工作参考价值（4 点）
- 评估 agentic RAG / LLM 排序系统时，预算层级可分解为 query/问题数、轨迹/rollout 数、每次 rollout 的读取/答案重复数；在总 token 预算固定时优先扩 query 覆盖（多问题）而不是多 trajectory 或多 read，尤其在搜索请求费用低（< $1/1k requests）时，可显著降低标准误。
- 用嵌套（nested）或仅问题（Q-only）的 archived forecast 做审计，预测不同预算分配的 SE，误差可在 4% 内；可以在正式大规模评估前用小 audit 校准预算，避免盲目采样。
- 温度设为 0 可将答案不一致从 ~14% 降到 ~3.4%，同时比较精度变化不大；对于策略对比评估、离线评测，应默认 temperature=0 减少重复读数需求。
- 如果系统涉及 search API 费用，要把每千次搜索价格纳入预算分配：搜索费用在 $0–1/1k 时更多问题优先于更多轨迹；但 question vs read 的费用排序在当前数据下不确定，需按自身模型/搜索价格重估。